Cha ông, Iosif Stalin qua đời vào ngày 4 tháng 3 năm 1953. Gần như ngay lập tức, Vasily được gọi tới Bộ Quốc phòng và được Bộ trưởng Nikolay Bulganin ra lệnh rời Moskva để nhậm nhiệm vụ chỉ huy không quân của một trong các quân khu khác. Vasily đã không tuân theo mệnh lệnh. Ngày 26 tháng 3 năm 1953, Trung tướng Không quân V.I. Stalin bị cách chức loại ngũ mà không có quyền mặc quân phục quân đội.[15] Trong một cơn thịnh nộ khi say xỉn, Vasily đã tuyên bố cha mình đã bị đầu độc.[2]

Chưa đầy hai tháng sau cái chết của cha, Vasily bị bắt vào ngày 28 tháng 4 năm 1953 và bị cáo buộc tội vu khống nhằm làm mất uy tín của các nhà lãnh đạo của Liên Xô. Ngoài ra, trong quá trình điều tra, ông còn bị buộc tội lạm dụng chức vụ, bạo lực gây chết người. Vasily được cho là đã thú nhận tất cả, ngay cả những bản cáo trạng lố bịch nhất. Cuộc điều tra kéo dài hai năm rưỡi và ông hoàn toàn bị giam giữ trong suốt thời gian này. Cuối cùng, Vasily bị xét xử trong một phiên tòa kín và không được phép có đại diện pháp lý. Ông bị kết án 8 năm tù vì tội "tuyên truyền chống Liên Xô" (Điều 58-10 của Bộ luật Hình sự) và lạm dụng chức vụ (Điều 193-17 của Bộ luật Hình sự).[15]

Vasily được đưa về giam giữ tại Nhà tù Vladimir, dưới cái tên Vasily Pavlovich Vasilyev. Tại đây, ông liên tục viết thư cho các nhà lãnh đạo mới của Liên Xô, Nikita Khrushchev và Georgy Malenkov, để phản đối việc giam giữ vô lý và yêu cầu làm rõ trường hợp của mình.[6] Lẽ dĩ nhiên là các bức thư không bao giờ được hồi âm, khi mà chính Khrushchev, tại Đại hội Đảng Cộng sản Liên Xô lần thứ 20, đã đả phá những di sản của Stalin qua báo cáo Về sùng bái cá nhân và những hậu quả của nó.

Ngày 9 tháng 1 năm 1960, Vasily được ra tù trước thời hạn. Ngày 21 tháng 1 năm 1960, theo lệnh của Bộ trưởng Quốc phòng Liên Xô bấy giờ là Rodion Malinovsky, sửa đổi lại quyết định ngày 26 tháng 3 năm 1953, theo đó, Vasily chỉ bị "sa thải" nhưng vẫn được bảo lưu quyền mặc quân phục, được giữ lại tất cả các huân chương và có lương hưu của quân đội. Ủy ban Trung ương Đảng Cộng sản Liên Xô cũng đã cấp cho ông một khoản trợ cấp 300 rúp, một căn hộ 3 phòng ở Moskva và trả lại cho ông các tài sản cá nhân bị tịch thu trong thời gian ông bị bắt.

Trong một cuộc phỏng vấn năm 1993, người đứng đầu KGB thập niên 1960, Shelepin, đã tuyên bố rằng Vasily Stalin, vài ngày sau khi được thả, trong khi say xỉn, đã bắn chết một người đàn ông. Sau đó Shelepin và Khrushchev đã quyết định đưa Vasily vào điều trị tại bệnh viện.[16] Ông cũng đã trải qua một một kỳ trị liệu ba tháng ở Kislovodsk.

Ngày 16 tháng 4 năm 1960, Vasily Stalin một lần nữa bị KGB bắt giữ "vì tiếp tục các hoạt động chống Liên Xô". Điều này được thể hiện trong chuyến thăm Đại sứ quán Trung Quốc, nơi ông được cho là đã đưa ra "tuyên bố vu khống về một nhân vật chống Liên Xô". Ông bị đưa trở lại nhà tù Lefortovo "để thi hành phần còn lại của bản án" trong 1 năm.

Ngày 28 tháng 4 năm 1961, Vasily được ra tù. Tuy nhiên, theo sắc lệnh của Đoàn chủ tịch Xô việt tối cao Liên Xô ngày 25 tháng 4 năm 1961, ông bị lưu đày 5 năm tới thành phố Kazan, bị cấp tiếp xúc với công dân nước ngoài. Ông bị cấm sống ở Moskva và Gruzia. Các lãnh đạo KGB cũng yêu cầu ông từ bỏ họ "Stalin", và do Vasily từ chối, nên trong gần một năm ông không có giấy tờ và không thể kiếm được việc làm. Mãi đến khi đăng ký kết hôn với Maria Ignatyevna Shevergin (và có lẽ do ảnh hưởng của việc này), Vasily đã chấp nhận đổi họ, và ngày 9 tháng 1 năm 1962, ông nhận được giấy tờ với họ "Dzhugashvili".[1] Ở Kazan, ông sống ở phố Gagarin, nhà 105, căn hộ 82.[17]